Vào nửa sau thập niên 1950 transistor lưỡng cực (BJT)[66] đã thay thế ống chân không. Từ đó dẫn đến những chiếc máy tính thuộc "thế hệ thứ hai". Ban đầu, người ta tin rằng sẽ có rất ít máy tính được sản xuất hoặc sử dụng[67]. Lý do là vì kích thước, giá cả, và kỹ năng cần có để vận hành hoặc đọc hiểu kết quả của chúng. Transistor[68] đã làm giảm đáng kể kích thước, giá thành ban đầu và chi phí vận hành. Transitor lưỡng cực[69] được phát minh vào năm 1947[70]. Nếu không có dòng điện chạy qua đường cực base-emitter của transistor lưỡng cực, đường cực collector-emitter của transistor sẽ chặn dòng điện (transistor khi đó gọi là "tắt hoàn toàn"). Nếu có dòng điện đủ lớn đi qua đường cực base-emitter của một transistor, đường cực collector-emitter của transistor đó cũng cho dòng điện đi qua (và transistor được gọi là "mở hoàn toàn"). Việc cho dòng điện đi qua hoặc ngăn dòng điện là cách biểu diễn lần lượt cho số nhị phân 1 (true) hay 0 (false)[71].So với ống chân không, transistor có nhiều lợi điểm: sản xuất ra chúng rẻ hơn mà nhanh hơn gấp 10 lần, biến thiên từ điều kiện 1 đến 0 chỉ mất có một phần triệu hoặc một phần tỷ giây.Dung tích transistor được đo bằng milimét vuông so với centimét vuông của ống chân không. Nhiệt độ vận hành thấp hơn của transistor đã làm tăng độ tin cậy của chúng so với ống chân không. Các máy tính được trang bị transistor có thể chứa mười ngàn mạch luận lý nhị phân trong một không gian rất nhỏ hẹp.

Thông thường, các máy tính thế hệ thứ hai[72][73] bao gồm rất nhiều mạch in như IBM Standard Modular System[74]mỗi mạch có chứa một đến bốn cổng luận lý hoặc flip-flop. Một máy tính thế hệ thứ hai, IBM 1401, đã giành được đến khoảng một phần ba thị phần thế giới. IBM đã cài đặt hơn một trăm ngàn máy 1401 trong khoảng năm 1960 đến 1964 - Khoảng thời gian này cũng chứng kiến nỗ lực duy nhất của người Ý: chiếc ELEA của Olivetti, sản xuất được 110 máy.

Các thiết bị điện tử được transistor hóa không chỉ phát triển CPU, mà còn cả các thiết bị ngoại vi. Chiếc RAMAC IBM 350 được ra mắt vào năm 1956 và là máy tính có ổ đĩa đầu tiên trên thế giới. Đơn vị lưu trữ dữ liệu dạng đĩa thế hệ thứ hai có thể lưu trữ hàng chục triệu ký tự và chữ số. Nhiều thiết bị ngoại vi khác nhau có thể kết nối với CPU, giúp tăng tổng dung lượng bộ nhớ đến hàng trăm triệu ký tự và chữ số. Tiếp sau đơn vị lưu trữ bằng đĩa cố định, được kết nối với CPU thông qua băng truyền dữ liệu tốc độ cao, là đơn vị lưu trữ dữ liệu dạng đĩa tháo lắp. Một chồng đĩa tháo lắp có thể thay bằng một chồng khác chỉ trong vài giây. Thậm chí dù dung lượng đĩa tháo lắp nhỏ hơn đĩa cố định, khả năng sử dụng thay thế lẫn nhau đảm bảo cho khả năng lưu trữ dữ liệu không có giới hạn trở nên trong tầm tay. Nhưng băng từ cung cấp khả năng lưu trữ các dữ liệu này, với giá thành thấp hơn đĩa.

Nhiều CPU thế hệ thứ hai giao phó việc giao tiếp với các thiết bị ngoại vi cho một vi xử lý thứ hai. Ví dụ, trong khi vi xử lý giao tiếp điều khiển việc đọc và đục lỗ thẻ, CPU chính sẽ xử lý việc tính toán và các lệnh rẽ nhánh. Một băng dữ liệu sẽ duy trì dữ liệu giữa CPU chính và bộ nhớ lõi mới theo tỷ lệ chu kỳ nạp-xử lý, và những băng dữ liệu khác sẽ chỉ phục vụ cho các thiết bị ngoại vi. Trên chiếc PDP-1, chu kỳ của bộ nhớ lõi là 5 miligiây; do đó đa số các lệnh số học mất khoảng 10 microgiây (100.000 phép toán một giây) vì phần lớn các phép toán phải được thực hiện trong ít nhất hai chu kỳ bộ nhớ; một cho lệnh, và một để nạp dữ liệu toán hạng.

Trong thế hệ thứ hai này chứng kiến việc sử dụng rất nhiều đơn vị đầu cuối đầu xa (thường ở dạng Máy telex như Friden Flexowriter). Các kết nối điện thoại đã cung cấp tốc độ hợp lý cho những đầu cuối đầu xa đầu tiên và cho phép chia tách hàng trăm km giữa các thiết bị đầu cuối đầu xa và trung tâm tính toán. Cuối cùng những mạng máy tính độc lập này sẽ được tổng hợp vào một mạng các mạng liên kết với nhau - Internet[75].